storm集群搭建及numbus,supervisor启动异常

您所在的位置:网站首页 搞笑奖状称号大全 模板 storm集群搭建及numbus,supervisor启动异常

storm集群搭建及numbus,supervisor启动异常

2023-11-09 10:45| 来源: 网络整理| 查看: 265

1.安装

(1)下载 wget https://archive.apache.org/dist/storm/apache-storm-1.1.2/apache-storm-1.1.2.tar.gz

(2)创建文件夹 mkdir -p /export/server

(3)解压 tar -zxvf apache-storm-1.1.2.tar.gz -C /export/server

(4)重命名 mv apache-storm-1.1.2 storm

(5)创建storm工作目录 mkdir -p /export/data/storm/workdir

(6)修改/etc/hosts 在每台机器上,配上要启动节点的机器 192.168.44.133 storm01 hadoop000 192.168.44.134 storm02 hadoop001

2.配置storm/conf/storm.yaml文件

#指定storm使用的zk集群 storm.zookeeper.servers: - “hadoop000” - “hadoop001” - “hadoop002” #指定storm本地状态保存地址 storm.local.dir: “/export/data/storm/workdir” #指定storm集群中的nimbus节点所在的服务器 老大 nimbus.host: “storm01” #指定nimbus启动JVM最大可用内存大小 nimbus.childopts: “-Xmx1024m” #指定supervisor启动JVM最大可用内存大小 supervisor.childopts: “-Xmx1024m” #指定supervisor节点上,每个worker启动JVM最大可用内存大小 worker.childopts: “-Xmx768m” #指定ui启动JVM最大可用内存大小,ui服务一般与nimbus同在一个节点上。 ui.childopts: “-Xmx768m” #指定supervisor节点上,启动worker时对应的端口号,每个端口对应槽,每个槽位对应一worker supervisor.slots.ports: - 6700 - 6701 - 6702 - 6703

3.发送给其他机器

sudo scp -r export/ hadoop001:/

4.启动集群

zookeeper要提前启动要连接,在/export/servers/storm/bin/下输入 (1)在nimbus.host所属的机器上启动 nimbus服务 ./storm nimbus nohup storm nimbus & 在后台启动 输入完后快速回车 (2)在nimbus.host所属的机器上启动ui服务 ./storm ui (3)在其它个点击上启动supervisor服务 克隆机器需要在/export/data/storm/workdir/supervisor/isupervisor修改id ./storm supervisor

5.检验

http://hadoop000:8080/index.html

6.常用命令

(1)杀死任务命令 1秒后kill storm kill topology-name -w 1 (2)停用任务命令格式: storm deactivte topology-name (3)启用任务命令格式: storm activate topology-name (4)重新部署任务命令格式. 将集群中的机器重新负载均衡 storm rebalance topology-name

7.FQA

在/export/server/storm/logs下查看日志. 在根目录下创建目录,会有一些用户权限问题. (1)启动 supervisor时报错: vi supervisor.log main ERROR Unable to invoke factory method in class class org.apache.logging.log4j.core.appender.RollingFileAppender for element RollingFile. java.lang.IllegalStateException: No factory method found for class org.apache.logging.log4j.core.appender.RollingFileAppender 没有权限修改日志文件 解决:sudo 启动supervisor 或者chmod 777 /export/server/storm/logs/* 或 sudo chown -R hadoop:root server/ 将root的data/文件夹的权限给hadoop用户

(2)启动nimbus报错: vi nimbus.log nimbus timer [ERROR] Error when processing event java.lang.ClassCastException: java.lang.String cannot be cast to java.lang.Throwable 删除/export/data/storm/workdir目录下的文件

(3).运行程序时报错 Exception in thread “main” java.lang.RuntimeException: org.apache.storm.thrift.transport.TTransportException 权限不足不能加载/export/server/storm/lib的jar包 sudo chmod 777 storm/ -R 或sudo chown -R hadoop:root /export/server/storm/lib 将root的server/文件夹的权限给hadoop用户



【本文地址】


今日新闻


推荐新闻


CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3